package com.atguigu.gmall.realtime.app.dws;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.gmall.realtime.app.func.DimAsyncFunction;
import com.atguigu.gmall.realtime.beans.TradeSkuOrderBean;
import com.atguigu.gmall.realtime.utils.DateFormatUtil;
import com.atguigu.gmall.realtime.utils.MyClickhouseUtil;
import com.atguigu.gmall.realtime.utils.MyKafkaUtil;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.*;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.util.Collector;

import java.math.BigDecimal;
import java.time.Duration;
import java.util.concurrent.TimeUnit;

/**
 * @author Felix
 * @date 2023/1/8
 * 交易域：商品sku粒度下单业务过程聚合统计
 * 维度：sku
 * 度量：统计原始金额、活动减免金额、优惠券减免金额和订单金额
 * 需要启动的进程
 *      zk、kafka、maxwell、hdfs、hbase、redis、clickhouse、DwdTradeOrderDetail、DwsTradeSkuOrderWindow
 * 开发思路
 *      基本环境准备
 *      检查点相关的设置
 *      从kafka的主题中读取下单数据
 *      过滤掉读取的数据中的空消息，并对流中读取的数据类型进行转换   jsonStr->jsonObj
 *      去重
 *          为什么会产生重复数据？
 *              因为我们是从下单事实表中读取数据，下单事实表是将订单、订单明细、订单明细活动
 *              订单明细优惠券以及字典表这5张表关联到一起的，而且在和明细活动以及明细优惠券关联的时候，
 *              还使用了左外连接，如果左表数据先到，右表数据后到，将产生如下的结果
 *                  +I  左表      null
 *                  -D  左表      null
 *                  +I  左表      右表
 *              这样的动态表数据，发送到kafka主题中的话，会产生3条消息
 *                  左表  null
 *                  null
 *                  左表  右表
 *              所以我们需要过滤空消息,并去重
 *          去重思路
 *              按照唯一键（订单明细ID）进行分组
 *              对分组之后的数据进行处理，当第一条数据进来的时候，将数据放到状态中，并且向下游传递；
 *              如果有重复数据，当第二条数据进来的时候，先将状态保存的流中的对象，对统计的度量值有
 *              影响的属性取反，然后将状态中的数据向下游传递；同时将第二条进来的数据也传递到下游。
 *      将jsonObj转换为统计的实体类对象
 *      设置Watermark以及提取事件时间字段
 *      按照sku维度进行分组
 *      对分组之后的数据进行开窗
 *      聚合计算
 *      维度关联
 *          基本维度关联的实现
 *              PhoenixUtil
 *                  List<T> queryList(String sql,Class<T> cls)
 *              DimUtil
 *                  JSONObject getDimInfoNoCache(String tableName,Tuple2...params)
 *          优化1：旁路缓存
 *              思路：先从缓存中获取维度数据，如果缓存中找到了要关联的维度数据(缓存命中)，那么直接将缓存中的维度
 *              作为返回值进行返回；如果在缓存中没有找到要关联的维度，那么发送请求到Phoenix表中去查询维度，
 *              并将查询的结果放到缓存中缓存起来，方便下次查询使用
 *              缓存产品的选型
 *                  状态          性能高     维护性差
 *                  redis        性能高     维护性好       √
 *              Redis的类型:String
 *              Redis的key:  dim:维度表名:主键1_主键2
 *              Redis的expire:   1day
 *              注意：如果维度数据发生了变化，需要将Redis中缓存的数据清除掉
 *          优化2：异步IO
 *              为什么要使用异步IO？
 *                  在和外部系统进行交互的时候，交互的性能直接影响了整个实时计算的性能。如果想要提升处理能力，
 *                  可以通过提升并行度的方式的进行处理，但是把并行度提升意味着需要更多硬件资源，不可能无限制
 *                  的提升，所以考虑在并行度确定的情况下，如何去提升每个并行度上对流中数据处理能力。
 *                  默认情况下，如果使用map算子对流中数据进行处理，使用的是同步的方式，处理完流中的一个元素
 *                  后，才能处理下一个元素，针对这种情况，Flink提供了专门发送异步请求的API，可以同时对流中
 *                  的多个元素进行处理.
 *              异步的语法
 *                  AsyncDataStream.[un]orderedWait(
 *                      流,
 *                      如何发送异步请求,~~需要实现AsyncFunction
 *                      超时时间,
 *                      时间单位
 *                  );
 *              封装
 *                  class DimAsyncFunction extends RichAsyncFunction{
 *                      open(){
 *                          获取线程池对象~~ThreadPoolUtil
 *                          通过双重校验锁解决单例设计模式懒汉式线程安全问题
 *                      }
 *                      asyncInvoke(){
 *                          启动线程
 *                          通过流中的对象获取要关联的维度的主键
 *                          根绝维度的主键获取对应的维度对象
 *                          将维度对象上的属性补充到流中的对象上
 *                          将补充维度后的对象向下游传递
 *                      }
 *                  }
 *             模板方法设计模式
 *                  在父类中定义完成某一个功能的核心算法骨架(步骤),将某些步骤的具体实现延迟到子类中去完成。
 *                  在不改变父类核心算法骨架的前提下，每一个子类中都可以有自己不同的实现。
 *      将关联的结果写到Clickhouse
 */
public class DwsTradeSkuOrderWindow {
    public static void main(String[] args) throws Exception {
        //TODO 1.基本环境准备
        //1.1 指定流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //1.2 设置并行度
        env.setParallelism(4);
        /*//TODO 2.检查点相关的设置
        //2.1 开启检查点
        env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE);
        //2.2 设置检查点超时时间
        env.getCheckpointConfig().setCheckpointTimeout(60000L);
        //2.3 设置job取消之后 检查点是否保留
        env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        //2.4 设置两个检查点之间最小的时间间隔
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(2000L);
        //2.5 设置重启策略
        env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.days(30),Time.seconds(3)));
        //2.6 设置状态后端
        env.setStateBackend(new HashMapStateBackend());
        env.getCheckpointConfig().setCheckpointStorage("hdfs://hadoop202:8020/gmall/ck");
        //2.7 设置操作hadoop的用户
        System.setProperty("HADOOP_USER_NAME","atguigu");*/

        //TODO 3.从kafka的下单主题中读取数据
        //3.1 声明消费的主题以及消费者组
        String topic = "dwd_trade_order_detail";
        String groupId = "dws_trade_sku_order_group";
        //3.2 创建消费者对象
        FlinkKafkaConsumer<String> kafkaConsumer = MyKafkaUtil.getKafkaConsumer(topic, groupId);
        //3.3 消费数据 封装为流
        DataStreamSource<String> kafkaStrDS = env.addSource(kafkaConsumer);

        //TODO 4.将null消息过滤掉并对流中数据进行类型转换        jsonStr->jsonObj
        SingleOutputStreamOperator<JSONObject> jsonObjDS = kafkaStrDS.process(
            new ProcessFunction<String, JSONObject>() {
                @Override
                public void processElement(String jsonStr, Context ctx, Collector<JSONObject> out) throws Exception {
                    if (jsonStr != null) {
                        JSONObject jsonObj = JSON.parseObject(jsonStr);
                        out.collect(jsonObj);
                    }
                }
            }
        );
        //{"create_time":"2022-12-27 10:01:42","sku_num":"3","activity_rule_id":"4","split_original_amount":"24591.0000",
        // "sku_id":"11","source_type":"2401","date_id":"2022-12-27","source_type_name":"用户查询","user_id":"62",
        // "province_id":"7","activity_id":"2","sku_name":"A待手机","id":"239","order_id":"95",
        // "split_activity_amount":"1200.0","split_total_amount":"23391.0","ts":"1673143302"}
        // jsonObjDS.print(">>>>");
        //TODO 5.去重
        //5.1 按照唯一键进行分组
        KeyedStream<JSONObject, String> orderDetailIdKeyedDS = jsonObjDS.keyBy(jsonObj -> jsonObj.getString("id"));
        //5.2 去重思路一    状态 + 定时任务
        /*orderDetailIdKeyedDS.process(
            new KeyedProcessFunction<String, JSONObject, JSONObject>() {
                private ValueState<JSONObject> lastValueState;

                @Override
                public void open(Configuration parameters) throws Exception {
                    ValueStateDescriptor<JSONObject> valueStateDescriptor
                        = new ValueStateDescriptor<JSONObject>("lastValueState",JSONObject.class);
                    lastValueState = getRuntimeContext().getState(valueStateDescriptor);
                }

                @Override
                public void processElement(JSONObject jsonObj, Context ctx, Collector<JSONObject> out) throws Exception {
                    JSONObject lastValue = lastValueState.value();
                    if(lastValue == null){
                        lastValueState.update(jsonObj);
                        //注册一个定时器
                        long processingTime = ctx.timerService().currentProcessingTime();
                        ctx.timerService().registerProcessingTimeTimer(processingTime +5000L);
                    }else{
                        String ts1 = jsonObj.getString("ts");
                        String ts2 = lastValue.getString("ts");
                        if(ts1.compareTo(ts2) > 0){
                            lastValueState.update(jsonObj);
                        }
                    }
                }

                @Override
                public void onTimer(long timestamp, OnTimerContext ctx, Collector<JSONObject> out) throws Exception {
                    JSONObject jsonObj = lastValueState.value();
                    out.collect(jsonObj);
                }
            }
        );*/
        //5.3 去重思路二  将重复数据影响度量的指标做减法
        SingleOutputStreamOperator<JSONObject> distinctDS = orderDetailIdKeyedDS.process(
            new KeyedProcessFunction<String, JSONObject, JSONObject>() {
                private ValueState<JSONObject> lastValueState;

                @Override
                public void open(Configuration parameters) throws Exception {
                    ValueStateDescriptor<JSONObject> valueStateDescriptor = new ValueStateDescriptor<JSONObject>("lastValueState", JSONObject.class);
                    lastValueState = getRuntimeContext().getState(valueStateDescriptor);
                }

                @Override
                public void processElement(JSONObject jsonObj, Context ctx, Collector<JSONObject> out) throws Exception {
                    JSONObject lastValue = lastValueState.value();
                    if (lastValue != null) {
                        String splitOriginalAmount = lastValue.getString("split_original_amount");
                        String splitActivityAmount = lastValue.getString("split_activity_amount");
                        String splitCouponAmount = lastValue.getString("split_coupon_amount");
                        String splitTotalAmount = lastValue.getString("split_total_amount");
                        //如果状态中的值不为空，说明有重复数据 ，需要将影响度量的指标取反
                        lastValue.put("split_original_amount", "-" + splitOriginalAmount);
                        lastValue.put("split_activity_amount", splitActivityAmount == null ? "0.0" : "-" + splitActivityAmount);
                        lastValue.put("split_coupon_amount", splitCouponAmount == null ? "0.0" : "-" + splitCouponAmount);
                        lastValue.put("split_total_amount", "-" + splitTotalAmount);
                        out.collect(lastValue);
                    }
                    out.collect(jsonObj);
                    lastValueState.update(jsonObj);
                }
            }
        );

        //TODO 6.对流中数据类型进行转换    jsonObj->实体类对象
        SingleOutputStreamOperator<TradeSkuOrderBean> orderBeanDS = distinctDS.map(
            new MapFunction<JSONObject, TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean map(JSONObject jsonObj) throws Exception {
                    //{"create_time":"2022-12-27 10:01:42","sku_num":"3","activity_rule_id":"4","split_original_amount":"24591.0000",
                    // "sku_id":"11","source_type":"2401","date_id":"2022-12-27","source_type_name":"用户查询","user_id":"62",
                    // "province_id":"7","activity_id":"2","sku_name":"A待手机","id":"239","order_id":"95",
                    // "split_activity_amount":"1200.0","split_total_amount":"23391.0","ts":"1673143302"}
                    String skuId = jsonObj.getString("sku_id");

                    String splitOriginalAmount = jsonObj.getString("split_original_amount");
                    String splitActivityAmount = jsonObj.getString("split_activity_amount");
                    String splitCouponAmount = jsonObj.getString("split_coupon_amount");
                    String splitTotalAmount = jsonObj.getString("split_total_amount");

                    TradeSkuOrderBean orderBean = TradeSkuOrderBean.builder()
                        .skuId(skuId)
                        .originalAmount(new BigDecimal(splitOriginalAmount))
                        .activityAmount(new BigDecimal(splitActivityAmount == null ? "0.0" : splitActivityAmount))
                        .couponAmount(new BigDecimal(splitCouponAmount == null ? "0.0" : splitCouponAmount))
                        .orderAmount(new BigDecimal(splitTotalAmount))
                        .ts(jsonObj.getLong("ts") * 1000)
                        .build();
                    return orderBean;
                }
            }
        );

        // orderBeanDS.print(">>>>");
        //TODO 7.设置Watermark以及提取事件时间字段
        SingleOutputStreamOperator<TradeSkuOrderBean> withWatermarkDS = orderBeanDS.assignTimestampsAndWatermarks(
            WatermarkStrategy
                .<TradeSkuOrderBean>forBoundedOutOfOrderness(Duration.ofSeconds(3))
                .withTimestampAssigner(
                    new SerializableTimestampAssigner<TradeSkuOrderBean>() {
                        @Override
                        public long extractTimestamp(TradeSkuOrderBean orderBean, long recordTimestamp) {
                            return orderBean.getTs();
                        }
                    }
                )
        );
        //TODO 8.按照维度sku_id进行分组
        KeyedStream<TradeSkuOrderBean, String> skuIdKeyedDS = withWatermarkDS.keyBy(TradeSkuOrderBean::getSkuId);

        //TODO 9.开窗
        WindowedStream<TradeSkuOrderBean, String, TimeWindow> windowDS = skuIdKeyedDS.window(TumblingEventTimeWindows.of(Time.seconds(10)));

        //TODO 10.聚合计算
        SingleOutputStreamOperator<TradeSkuOrderBean> reduceDS = windowDS.reduce(
            new ReduceFunction<TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean reduce(TradeSkuOrderBean value1, TradeSkuOrderBean value2) throws Exception {
                    value1.setOriginalAmount(value1.getOriginalAmount().add(value2.getOriginalAmount()));
                    value1.setActivityAmount(value1.getActivityAmount().add(value2.getActivityAmount()));
                    value1.setCouponAmount(value1.getCouponAmount().add(value2.getCouponAmount()));
                    value1.setOrderAmount(value1.getOrderAmount().add(value2.getOrderAmount()));
                    return value1;
                }
            },
            new WindowFunction<TradeSkuOrderBean, TradeSkuOrderBean, String, TimeWindow>() {
                @Override
                public void apply(String groupId, TimeWindow window, Iterable<TradeSkuOrderBean> input, Collector<TradeSkuOrderBean> out) throws Exception {
                    String stt = DateFormatUtil.toYmdHms(window.getStart());
                    String edt = DateFormatUtil.toYmdHms(window.getEnd());
                    for (TradeSkuOrderBean orderBean : input) {
                        orderBean.setStt(stt);
                        orderBean.setEdt(edt);
                        orderBean.setTs(System.currentTimeMillis());
                        out.collect(orderBean);
                    }
                }
            }
        );
        // TradeSkuOrderBean(stt=2023-01-08 11:26:40, edt=2023-01-08 11:26:50, trademarkId=null, trademarkName=null, category1Id=null, category1Name=null, category2Id=null, category2Name=null, category3Id=null, category3Name=null, skuId=34, skuName=null, spuId=null, spuName=null, originalAmount=19635.0000, activityAmount=0.0, couponAmount=0.0, orderAmount=19635.0, ts=1673148481209)
        // reduceDS.print(">>>");
        //TODO 11.关联SKU维度
        /*SingleOutputStreamOperator<TradeSkuOrderBean> withSkuInfoDS = reduceDS.map(
            new MapFunction<TradeSkuOrderBean, TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean map(TradeSkuOrderBean orderBean) throws Exception {
                    //根据流中的对象获取要关联的维度的主键
                    String skuId = orderBean.getSkuId();
                    //根据维度的主键到对应的维度表中将维度数据查询出来
                    JSONObject dimInfoJsonObj = DimUtil.getDimInfo("dim_sku_info", skuId);
                    //将维度对象中相关的维度属性补充到流中对象上
                    orderBean.setTrademarkId(dimInfoJsonObj.getString("TM_ID"));
                    orderBean.setSpuId(dimInfoJsonObj.getString("SPU_ID"));
                    orderBean.setCategory3Id(dimInfoJsonObj.getString("CATEGORY3_ID"));
                    orderBean.setSkuName(dimInfoJsonObj.getString("SKU_NAME"));
                    return orderBean;
                }
            }
        );
        withSkuInfoDS.print(">>>");*/
        // 将异步I/O操作应用于DataStream作为DataStream的一次转换操作
        SingleOutputStreamOperator<TradeSkuOrderBean> withSkuInfoDS = AsyncDataStream.unorderedWait(
            reduceDS,
            //异步操作  实现分发请求的 AsyncFunction
            new DimAsyncFunction<TradeSkuOrderBean>("dim_sku_info") {
                @Override
                public void join(JSONObject dimInfoJsonObj, TradeSkuOrderBean orderBean) {
                    orderBean.setTrademarkId(dimInfoJsonObj.getString("TM_ID"));
                    orderBean.setSpuId(dimInfoJsonObj.getString("SPU_ID"));
                    orderBean.setCategory3Id(dimInfoJsonObj.getString("CATEGORY3_ID"));
                    orderBean.setSkuName(dimInfoJsonObj.getString("SKU_NAME"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getSkuId();
                }
            },
            60, TimeUnit.SECONDS
        );
        // withSkuInfoDS.print(">>>>");
        //TODO 12.关联SPU维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withSpuInfoDS = AsyncDataStream.unorderedWait(
            withSkuInfoDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_spu_info") {
                @Override
                public void join(JSONObject dimInfoJsonObj, TradeSkuOrderBean orderBean) {
                    orderBean.setSpuName(dimInfoJsonObj.getString("SPU_NAME"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getSpuId();
                }
            },
            60, TimeUnit.SECONDS
        );
        // withSpuInfoDS.print(">>>>");
        //TODO 13.关联TM维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withTmDS = AsyncDataStream.unorderedWait(
            withSpuInfoDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_trademark") {
                @Override
                public void join(JSONObject dimInfoJsonObj, TradeSkuOrderBean orderBean) {
                    orderBean.setTrademarkName(dimInfoJsonObj.getString("TM_NAME"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getTrademarkId();
                }
            },
            60, TimeUnit.SECONDS
        );

        //TODO 14.关联category3维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory3Stream = AsyncDataStream.unorderedWait(
            withTmDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category3".toUpperCase()) {
                @Override
                public void join(JSONObject jsonObj,TradeSkuOrderBean javaBean)  {
                    javaBean.setCategory3Name(jsonObj.getString("name".toUpperCase()));
                    javaBean.setCategory2Id(jsonObj.getString("category2_id".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory3Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 15.关联category2维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory2Stream = AsyncDataStream.unorderedWait(
            withCategory3Stream,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category2".toUpperCase()) {
                @Override
                public void join(JSONObject jsonObj,TradeSkuOrderBean javaBean)  {
                    javaBean.setCategory2Name(jsonObj.getString("name".toUpperCase()));
                    javaBean.setCategory1Id(jsonObj.getString("category1_id".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory2Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 16.关联category1维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory1Stream = AsyncDataStream.unorderedWait(
            withCategory2Stream,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category1".toUpperCase()) {
                @Override
                public void join(JSONObject jsonObj,TradeSkuOrderBean javaBean)  {
                    javaBean.setCategory1Name(jsonObj.getString("name".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory1Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 17.将关联的结果写到Clickhouse数据库
        withCategory1Stream.print(">>>");
        withCategory1Stream.addSink(
            MyClickhouseUtil.getSinkFunction("insert into dws_trade_sku_order_window values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)")
        );
        env.execute();
    }
}
